Sumideros de atención: dos mecanismos, dos soluciones
Los sumideros de atención no son iguales: descubre si son NOP o broadcast. Aprende a diagnosticarlos y a aplicar gating o registers.
#sumideros de atención
Sumideros de atención: dos mecanismos, dos soluciones
Descubre cómo los sumideros de atención en transformers esconden dos mecanismos distintos: nop y broadcast. Aprende a diagnosticarlos y combinarlos para mejorar estabilidad y rendimiento.
Pesos de Contribución: Análisis Geométrico de Transformers de Autoatención
Los Pesos de Contribución ofrecen una métrica más fiel que la atención para identificar tokens clave en LLMs. Revelan el rol activo de los sinks de atención.